|
18.08.2026
07:30 Uhr
|
Inkling ist das erste Open-Weight-Modell aus den USA, das zu den chinesischen Modellen aufschließt, auch wenn die in Benchmarks noch vorn bleiben.
Während die US-Regierung laut darüber nachdenkt, chinesische Modelle mit offenen Gewichten zu verbieten, hat die US-Firma Thinking Machines Lab mit Inkling ihr erstes eigenes großes Sprachmodell vorgestellt. Das Start-up, gegründet von Mira Murati, der ehemaligen Technikchefin von OpenAI, hat sich für ein sehr großes MoE-Modell (Mixture of Experts) mit 975 Milliarden Parametern (davon 41 Milliarden aktiv) entschieden und die Gewichte veröffentlicht. Damit ist Inkling das derzeit größte Modell mit offenen Gewichten, das nicht aus China kommt.
Thinking Machines Lab stellt die Gewichte sowohl im bfloat16-Format als auch in der deutlich kompakteren NVFP4-Quantisierung zur Verfügung. Selbst damit benötigt das Modell allein für die 975 Milliarden Parameter etwa 600 GByte RAM (für bfloat16 gar 2 TByte) und ist damit für viele Nutzer für einen lokalen Betrieb außer Reichweite. Es verfügt über 66 Layer, darin finden sich 256 Experten. Von denen sind pro Vorhersage immer sechs aktiv. Hinzu kommen zwei „geteilte“ Experten, die immer mitmachen. Das ergibt 41 Milliarden Parameter, die in jeder Berechnung verwendet werden.
Ganz stimmt das allerdings nicht, denn Thinking Machines Lab hat ein kleineres Modell für Multi-Token Prediction integriert. Liegt es mit seiner Spekulation richtig, kann das große Modell in einem Schritt die vorhergesagten Token verifizieren und ein weiteres generieren. Das erhöht die Ausgabegeschwindigkeit beträchtlich und verringert die mittlere Anzahl an Parametern, die für die Vorhersagen notwendig sind.